Михаил Александрович Караулов родился в 1878 году в станице Тарской Сунженского отдела Терской области. В 1901 году окончил филологический факультет Петербургского университета. В 1902 году сдал выпускной экзамен при Николаевском кавалерийском училище. В отставку Михаил Александрович вышел в 1905 году в чине подъесаула.
После военной службы основал журнал “Казачья неделя”. Активно участвовал в создании "Общества любителей казачьей старины". Занимался научно-исследовательской деятельностью, собирал старинные сказания и песни терских казаков, принимал участие в археологических раскопках, многое сделал для открытия Терского Войскового музея и Войсковой библиотеки. Написал несколько книг по истории терского казачества.
Являлся депутатом Государственной Думы II и IV созыва от Терской области. Входил в Бюро особой крестьянской группы. При заполнении анкеты, в графе "партийная принадлежность" М.А. Караулов написал: "Я ни к какой партии или фракции не принадлежу. Я - то, что должен представлять собой всякий, истинно любящий свою Родину, - я монархист-демократ".
После Февральского переворота Михаил Александрович Караулов вошел в состав Временного комитета Государственной Думы, а позже был назначен представителем Временного правительства в Терской области и выехал во Владикавказ. 27 марта (по ст.стилю) М.А. Караулов был избран Войсковым Кругом атаманом. Возглавляя Войсковое правительство он пытался навести порядок, остановить волну насилия в крае. Руководствуясь этим желанием он настоял на издании областным гражданским Исполкомом ограничительных правил проведения митингов. Учитывая сложившуюся обстановку в области, в июле месяце обратился с просьбой в Военное министерство вернуть с фронта Терскую казачью дивизию. На московском Государственном совещании поддержал требование Донского атамана А.М. Каледина упразднить все комитеты и советы на фронте и в тылу, решительно укрепить дисциплину в армии. Михаил Александрович стал одним из организаторов созданного 20 октября "Юго-Восточного союза казачьих войск, горцев Кавказа и вольных народов степей", что объяснял "развалом центральной государственной власти" и необходимостью "оздоровления России с окраин".
После известия о захвате власти большевиками в Петрограде, атаман М.А. Караулов заявил, что вступает в управление Терским краем "со всей полнотой государственной власти", ввиду необходимости борьбы с анархией, грабежами и разбоями, край был объявлен на воен. положении, также был отдал приказ о приведении в боевое состояние все казачьи части. 1 декабря Атаман возглавил Терско-Дагестанское правительство.
В декабре с фронта прибыл 1-й Волгский казачий полк, Атаман приветствовал его в Пятигорском отделе. Михаила Александровича сопровождали брат Владимир, хорунжий Белоусов и депутат Круга Султанов. Вагон Атамана задержался 26 декабря на станции Прохладная, ожидая поезда в сторону Владикавказа. Его окружила толпа вооруженных солдат. Подстрекаемые большевистскими агентами, они стали требовать объяснений по поводу непрекращающихся нападений ингушей и чеченцев на русские села. Вскоре угрозы переросли в открытое столкновение. Возбужденные солдаты оттащили вагон от станции на расстояние 500-600 метров и расстреляли его из винтовок. Помощь из станицы пришла слишком поздно. Атаман Караулов и его спутники погибли. Убийцы содрали с них одежду и надругались над трупами.